Ông có hai đời vợ và có bốn người con. Vợ hai là ca sĩ Lê Anh Thư - ca sĩ Đoàn Văn công Đường sắt thời kỳ ông Tạ Đình Đề. Con gái đầu là Phạm Thu Hương - giảng viên dạy piano, con thứ hai là Nghệ sĩ ưu tú Chí Trung, con thứ ba là Phạm Quỳnh Trang - thạc sĩ piano, giảng dạy tại Học viện Âm nhạc Quốc gia Việt Nam và con trai út học piano jazz tại Mỹ.[3][4]